Từ xa xưa trên địa bàn xã này có tuyến kênh Nhà Lê nối từ kinh đô Hoa Lư đến Đèo Ngang đi qua, là tuyến đường thủy đầu tiên trong lịch sử Việt Nam và được coi là tuyến đường Hồ Chí Minh trên sông vì những đóng góp cho các cuộc chiến tranh của người Việt.

Địa bàn xã Phú Sơn hiện nay trước đây vốn là một phần xã Thanh Kỳ thuộc huyện Như Xuân.

Ngày 29 tháng 8 năm 1980, Hội đồng Bộ trưởng ban hành Quyết định số 278-CP[3]. Theo đó, chia xã Thanh Kỳ thành 2 xã Thanh Kỳ và Phú Sơn, chuyển xã Phú Sơn về huyện Tĩnh Gia quản lý.

Ngày 22 tháng 4 năm 2020, Ủy ban Thường vụ Quốc hội ban hành Nghị quyết số 933/NQ-UBTVQH14[4] thành lập thị xã Nghi Sơn trên cơ sở toàn bộ diện tích và dân số của huyện Tĩnh Gia. Xã Phú Sơn thuộc thị xã Nghi Sơn như hiện nay.